在本文中,我们提出了一个新颖的对象级映射系统,该系统可以同时在动态场景中分段,跟踪和重建对象。它可以通过对深度输入的重建和类别级别的重建来进一步预测并完成其完整的几何形状,其目的是完成对象几何形状会导致更好的对象重建和跟踪准确性。对于每个传入的RGB-D帧,我们执行实例分割以检测对象并在检测和现有对象图之间构建数据关联。将为每个无与伦比的检测创建一个新的对象映射。对于每个匹配的对象,我们使用几何残差和差分渲染残留物共同优化其姿势和潜在的几何表示形式,并完成其形状之前和完成的几何形状。与使用传统的体积映射或学习形状的先验方法相比,我们的方法显示出更好的跟踪和重建性能。我们通过定量和定性测试合成和现实世界序列来评估其有效性。
translated by 谷歌翻译
在本文中,我们提出了一个紧密耦合的视觉惯性对象级多效性动态大满贯系统。即使在极其动态的场景中,它也可以为摄像机姿势,速度,IMU偏见并构建一个密集的3D重建对象级映射图。我们的系统可以通过稳健的传感器和对象跟踪,可以强牢固地跟踪和重建任意对象的几何形状,其语义和运动的几何形状,其语义和运动的几何形状,并通过逐步融合相关的颜色,深度,语义和前景对象概率概率。此外,当对象在视野视野外丢失或移动时,我们的系统可以在重新观察时可靠地恢复其姿势。我们通过定量和定性测试现实世界数据序列来证明我们方法的鲁棒性和准确性。
translated by 谷歌翻译
机器人应用不断努力朝着更高的自主权努力。为了实现这一目标,高度健壮和准确的状态估计是必不可少的。事实证明,结合视觉和惯性传感器方式可以在短期应用中产生准确和局部一致的结果。不幸的是,视觉惯性状态估计器遭受长期轨迹漂移的积累。为了消除这种漂移,可以将全球测量值融合到状态估计管道中。全球测量的最著名和广泛可用的来源是全球定位系统(GPS)。在本文中,我们提出了一种新颖的方法,该方法完全结合了立体视觉惯性同时定位和映射(SLAM),包括视觉循环封闭,并在基于紧密耦合且基于优化的框架中融合了全球传感器模式。结合了测量不确定性,我们提供了一个可靠的标准来解决全球参考框架初始化问题。此外,我们提出了一个类似环路的优化方案,以补偿接收GPS信号中断电中累积的漂移。在数据集和现实世界中的实验验证表明,与现有的最新方法相比,与现有的最新方法相比,我们对GPS辍学方法的鲁棒性以及其能够估算高度准确且全球一致的轨迹的能力。
translated by 谷歌翻译
将深度学习结果与标准3D重建管道结合结果的最佳方法仍然是一个开放的问题。虽然当前将传统多视角立体声输出输出到正规化或改进的网络的系统似乎可以获得最佳结果,但最好将深层神经网络视为单独的组件,其结果可以将其概率地融合到基于几何形状的结果中系统。不幸的是,进行此类融合所需的错误模型尚不清楚,并提出了许多不同的方法。最近,一些系统通过使他们的网络预测概率分布而不是单个值来实现良好的结果。我们建议使用这种方法将学习的单视深度融合到标准的3D重建系统中。我们的系统能够为一组密钥帧逐步生成密集的深度图。我们训练一个深神网络,以预测单个图像中每个像素深度的离散,非参数概率分布。然后,我们根据后续帧和密钥帧图像之间的光度一致性将此“概率卷”与另一个概率卷融合在一起。我们认为,将这两个来源的概率量结合在一起将导致一个更好的条件。为了从体积中提取深度图,我们最大程度地减少了一个成本函数,该成本函数包括基于网络预测的表面正常和遮挡边界的正则化项。通过一系列实验,我们证明了这些组件中的每一个都改善了系统的整体性能。
translated by 谷歌翻译
虽然稀疏单眼同时定位和映射(SLAM)系统创建的基于按键的地图对于相机跟踪很有用,但对于许多机器人任务,可能需要密集的3D重建。涉及深度摄像机的解决方案在范围内和室内空间受到限制,并且基于最小化帧之间的光度误差的密集重建系统通常受到限制很差,并且遭受了规模歧义。为了解决这些问题,我们提出了一个3D重建系统,该系统利用卷积神经网络(CNN)的输出来生成包括度量标准量表的密钥帧的完全密集的深度图。我们的系统DeepFusion能够在GPU上产生实时密集的重建。它使用网络产生的学习不确定性,以概率方式将半密度的多视频立体算法与CNN的深度和梯度预测融合在一起。虽然网络只需要每个键帧一次,但我们能够使用每个新帧对深度图进行优化,以便不断利用新的几何约束。根据其在合成和现实世界数据集上的性能,我们证明了DeepLusion至少能够和其他可比较的系统执行。
translated by 谷歌翻译
尽管密集的视觉大满贯方法能够估计环境的密集重建,但它们的跟踪步骤缺乏稳健性,尤其是当优化初始化较差时。稀疏的视觉大满贯系统通过将惯性测量包括在紧密耦合的融合中,达到了高度的准确性和鲁棒性。受这一表演的启发,我们提出了第一个紧密耦合的密集RGB-D惯性大满贯系统。我们的系统在GPU上运行时具有实时功能。它共同优化了相机姿势,速度,IMU偏见和重力方向,同时建立了全球一致,完全密集的基于表面的3D重建环境。通过一系列关于合成和现实世界数据集的实验,我们表明我们密集的视觉惯性大满贯系统对于低纹理和低几何变化的快速运动和时期比仅相关的RGB-D仅相关的SLAM系统更强大。
translated by 谷歌翻译
由于其许多潜在应用,从视频中估算人类运动是一个活跃的研究领域。大多数最先进的方法可以预测单个图像的人类形状和姿势估计,并且不利用视频中可用的时间信息。许多“野生”运动序列被移动的摄像机捕获,这为估计增加了混合的摄像头和人类运动的并发症。因此,我们介绍了Bodyslam,这是一种单眼大满贯系统,共同估计人体的位置,形状和姿势以及摄像机轨迹。我们还引入了一种新型的人类运动模型,以限制顺序身体姿势并观察场景的规模。通过通过移动的单眼相机捕获的人类运动的视频序列进行的一系列实验,我们证明了Bodyslam与单独估计这些估计相比,可以改善所有人体参数和相机的估计。
translated by 谷歌翻译
我们提出了一个基于按键的对象级别的SLAM框架,该框架可以为对称和不对称对象提供全球一致的6DOF姿势估计。据我们所知,我们的系统是最早利用来自SLAM的相机姿势信息的系统之一,以提供先验知识,以跟踪对称对象的关键点 - 确保新测量与当前的3D场景一致。此外,我们的语义关键点网络经过训练,可以预测捕获预测的真实错误的关键点的高斯协方差,因此不仅可以作为系统优化问题中残留物的权重,而且还可以作为检测手段有害的统计异常值,而无需选择手动阈值。实验表明,我们的方法以6DOF对象姿势估算和实时速度为最先进的状态提供了竞争性能。我们的代码,预培训模型和关键点标签可用https://github.com/rpng/suo_slam。
translated by 谷歌翻译
Diversity Searcher is a tool originally developed to help analyse diversity in news media texts. It relies on a form of automated content analysis and thus rests on prior assumptions and depends on certain design choices related to diversity and fairness. One such design choice is the external knowledge source(s) used. In this article, we discuss implications that these sources can have on the results of content analysis. We compare two data sources that Diversity Searcher has worked with - DBpedia and Wikidata - with respect to their ontological coverage and diversity, and describe implications for the resulting analyses of text corpora. We describe a case study of the relative over- or under-representation of Belgian political parties between 1990 and 2020 in the English-language DBpedia, the Dutch-language DBpedia, and Wikidata, and highlight the many decisions needed with regard to the design of this data analysis and the assumptions behind it, as well as implications from the results. In particular, we came across a staggering over-representation of the political right in the English-language DBpedia.
translated by 谷歌翻译
Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.
translated by 谷歌翻译